DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩
DiT架构大一统：一个框架集成图像、视频、音频和3D生成，可编辑、能试玩基于 Diffusion Transformer（DiT）又迎来一大力作「Flag-DiT」，这次要将图像、视频、音频和 3D「一网打尽」。
来自主题: AI技术研报
7481 点击 2024-05-12 15:29
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
基于 Diffusion Transformer（DiT）又迎来一大力作「Flag-DiT」，这次要将图像、视频、音频和 3D「一网打尽」。
传统的 3D 重建算法需要不同视角拍摄的多张图片作为输入从而重建出 3D 场景。近年来，有相当多的工作尝试从单张图片构建 3D 场景。然而，绝大多数此类工作都依赖生成式模型（如 Stable Diffusion），换句话说，此类工作仍然需要通过预训练的生成式模型推理场景中的 3D 信息。
Stable Diffusion数位核心开发者离职，紧接着该公司创始人、首席执行官Emad Mostaque宣布卸任相关职务，并表示未来将专注开发去中心化AI。如今更是有消息称，据Stability AI内部文件和数十位知情人士透露，该公司的现金储备已经枯竭。
没有谁能一直称王，但加上前缀谁都有称王的机会。AI 文生图，还能玩出什么新花样？在这片群雄割据的红海，头部被 Midjourney、DALL·E、Stable Diffusion 等占据，其余还能让人眼前一亮的产品并不多。然而，仍有黑马杀出：Ideogram，前 Google 工程师创立，硅谷 AI 大神投资，去年 8 月面世，2 月底发布了最新的模型。
扩散模型凭借其在图像生成方面的出色表现，开启了生成式模型的新纪元。诸如 Stable Diffusion，DALLE，Imagen，SORA 等大模型如雨后春笋般涌现，进一步丰富了生成式 AI 的应用前景。然而，当前的扩散模型在理论上并非完美，鲜有研究关注到采样时间端点处未定义的奇点问题。此外，奇点问题在应用中导致的平均灰度等影响生成图像质量的问题也一直未得到解决。
微软高层大变动。一切都由纳德拉任命新AI主管引发。 这不，上周DeepMind联创苏莱曼刚成为微软全新AI部门CEO—— 这周，必应负责人就突然被宣布：卸任了。
Stable Diffusion 3 还没全面开放，这家公司的代码生成模型先来了。本周一，Stability AI 开源了小体量预训练模型 Stable Code Instruct 3B。
内部核心员工出走频繁，外部投资者不断丧失信心，成立于 2019 年的 AI 初创公司 Stability AI 还能推出伟大的产品吗？
最新消息，Stable Diffusion核心研究团队已集体辞职！名单包括研究团队领导、论文一作Robin Rombach，共同一作Andreas Blattmann，以及另一位作者Dominik Lorenz。
3D 生成领域迎来新的「SOTA 级选手」，支持商用和非商用。Stability AI 的大模型家族来了一位新成员。昨日，Stability AI 继推出文生图 Stable Diffusion、文生视频 Stable Video Diffusion 之后，又为社区带来了 3D 视频生成大模型「Stable Video 3D」（简称 SV3D）。